Summary

• добавлен data-quality слой для Streamify core marts: dbt schema tests, singular tests и документация
• Airflow DAG теперь запускает dbt deps и dbt build --select core с timeout-защитой
• обновлен dbt_utils до 1.3.3 и заменен deprecated surrogate_key на generate_surrogate_key
• добавлен статический CI-check, который проверяет синхронизацию README, docs, dbt tests и Airflow DAG без доступа к GCP

Purpose

Streamify строит потоковую аналитику музыкального сервиса. Эти изменения добавляют проверяемый слой качества данных, чтобы dashboard по прослушиваниям, пользователям, песням, артистам и локациям не строился на битых связях, дублях и некорректных SCD2 интервалах.

Validation

• python3 scripts/validate_dbt_quality.py
• python3 -m compileall -q airflow/dags spark_streaming scripts
• cd airflow && GCP_PROJECT_ID=dummy GCP_GCS_BUCKET=dummy docker compose config --quiet
• cd kafka && docker compose config --quiet
• cd dbt && dbt deps
• git diff --check

Runtime note

Полный dbt build --select core --profiles-dir . --target prod требует BigQuery adapter и GCP credentials, поэтому PR добавляет статический quality gate и Airflow runtime path, но не выполняет BigQuery build локально.